JS — это JavaScript 
или Jam Session 
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Hard climbs start years 
* before the crux 
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Нейросеть 


> 
Обучение = 
Аудио / цн 
данные 
совместимы с 
синтезатором | Синтезатор 
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Физическое явление, пре ставляющее собой | распространение B виде упругих | 3 
волн механических колебаний B Донна ds Soke м io а 


№ as pe. em ший m : a — 


const context = new AudioContext(); 
const oscillator = context.createOscillator(); 
const gainNode = context.createGain(); 


oscillator .connect(gainNode) ; 
gainNode.connect(context.destination) ; 


oscillator.start(); 
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const 
const 
const 


const 

source 
source 
source 


source 


audio = await fetch('./never-gonna-give-you-up.mp3'); 
buf = await audio.arrayBuffer(); 
audioBuff = await context.decodeAudioData(buf); 


source = context.createBufferSource() ; 
.buffer = audioBuff; 
.connect(context.destination); 

.loop = true; 


.start(); 
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const stream = await navigator.mediaDevices.getUserMedia(); 
const rec = new MediaRecorder (stream); 


const audioBuff = await new Promise(resolve => { 
const chunks = ||; 
rec.addEventListener('dataavailable', 
e => chunks.push(e.data)); 


rec.addEventListener('stop', async () => { 
const blobArray = await new Blob(chunks).arrayBuffer(); 
const decoded = ctx.decodeAudioData(blobArray) ; 
resolve(decoded) ; 


H3 


rec.start(); 
setTimeout(rec.stop, 1000); 
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const audioBuff = await context.decodeAudioData(buf) ; 
const pulseCodeModulation = audioBuff.getChannelData(0); 


| 
| 
| 
| 


[-0.01, -0.02, ..., 0.02, 0.02, 
0.03] 


При импульсно-кодовой модуляции аналоговый передаваемый сигнал преобразуется B цифровую форму посредством трёх 
операций: дискретизации по времени, квантования по амплитуде и кодирования 
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let maxIndex = -1; 
| let maxSum = -1; 


| for (let i = 1; i < chunkSize; i++) { 

let sum = 0; 
| for (let j = 0; j < chunkSize - i; ј++) 4 
sum += chunk[j] * chunk[j + 1]; 


| 
| 
| 
| 
} | 
| 
| 
| 
| 


07-0,08-0.95-0,5Ф....::ааєє + 0.8*0.1 = XI 


if (maxSum < sum) { 


ANMN | 


maxIndex = 1; 
maxSum = sum; 


OF=O4=6.2*0 St. 2.204 =0,9*8.9 = X2 


10/43 


Root mean square 


O m M quo i9 ago нь 


const squares = chunk.map(val => val ** 2); 
const sum = squares.reduce((acum, val) => acum + 
val); 
const rms = Math.sqrt(sum / chunk.length) ; 
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frequencies = 


meanAmplitudes 


изменяем громкость 


изменяем октаву 


играем ноту 


|71, 72, 739; =» fn] 


[а1, а2, a3, .. an] 


громкость октава нота 
І0 0 1 | 
[ 100 ] 
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const frequencies = [256, 440, ... 256]; 
const meanAmplitudes = [0, 0.4, ... 0.8]; 
let i = 8; 


setInterval*(() => { 
const { currentTime } = context; 
oscillator.frequency.setValueAtTime(frequencies[i], currentTime) ; 
gainNode.gain.setValueAtTime(meanAmplitudes[i], currentTime) ; 
i++; 

}, 0.1 * 1000); 
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Тембр — (обертоновая) окраска звука; одна из специфических характеристик 
музыкального звука 


100:00:00.520 
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Алгоритм 
Карплуса-Стронга 


Noise burst Filter Delay 
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Больше шума!!! 


Синтез звука, заключающийся в 
$) пропускании короткого сигнала через линию 
задержки с фильтром 
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await context.audioWorklet.addModule('noise.js'); 


const noiseGenerator = new AudioWorkletNode(context, 'small-noise'); 
const gainNode = context.createGain() ; 

const delayNode = context.createDelay() ; 

const splitterNode = context.createChannelSplitter(); 

const mergerNode = context.createChannelMerger(); 
gainNode.gain.setValueAtTime(@.99, context.currentTime) ; 


noiseGenerator.connect(mergerNode); 
mergerNode.connect(delayNode); 
delayNode.connect(splitterNode); 
splitterNode.connect(gainNode); 
gainNode.connect(mergerNode); 


splitterNode.connect(dest); 


noiseGenerator.port.postMessage({}); 17/43 


Демокрит Абдерский (Лпиокриос; ок. 460 до н. з., Абдеры — ок. 370 дон. э 
— древнегреческий философ, ученик Левкиппа один из основателей 
атомистики и материалистической философии 
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Жак де Вокансон (фр. Jacques de 
Vaucanson; 24 февраля 1709, 
Гренобль — 21 ноября 1782, Париж) 
— французский механик и 
изобретатель. 
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Пьер Жаке-Дро (French: (zake duo]; 1721 — 1790) 
часовщик конца 18 столетия. 
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Часы «Павлин» — часовой автомат работы 
мастерской английского механика Джеймса Кокса и 
мастера Фредерика Юри, входящий в постоянную 
экспозицию Павильонного зала Малого Эрмитажа. 


Часы в форме пасхального яйца, 1764-1767 гг., 
Нижний Новгород, Россия, Часы были приняты в дар 
императрицей Екатериной Il от Ивана Петровича 
Кулибина на Пасху 1769 
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О нейросетях 


Нейронная сеть!!! (также 
искусственная нейронная 
сеть, ИНС) — математическая 
модель, а также её программное 
или аппаратное воплощение, 
построенная по принципу 
организации и 
функционирования 
биологических нейронных сетей 
— сетей нервных клеток живого 
организма. 
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Создание нейросети 


const { dense, gru } = tf.layers; 
const model = tf.sequential(); 


model .add( 
gru({ 
units: 80, 
inputShape: [80, 24], 
returnSequences: true, 
}) 
m 


model.add(gru(( units: 40 })); 
model.add(dense(( units: 24, activation: 'softmax' })); 
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IDIOCRACY ©2016 


Нейрон или нервная клетка (от др.-греч. 
уєброу — волокно, нерв) — Х => x ж ү + b 
узкоспециализированная клетка, 
структурно-функциональная единица 
нервной системы. 


Регрессия (лат. regressio — обратное 
движение, отход) односторонняя 
зависимость, устанавливающая 
соответствие между случайными 5 0 5 
переменными. 
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-5- Ь 


Сигмоид 


бинарная классификация — это задача 
классификации элементов заданного 
множества в две группы 


Логистическая регрессия или логит- 
модель (англ. logit model) — статистическая 
модель, используемая для прогнозирования 
вероятности возникновения некоторого 
события путём его сравнения с 
логистической кривой. Эта регрессия 
выдаёт ответ в виде вероятности бинарного 
события (1 или 0). 


--1 


0.8 
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? это -1 или O или 1? это уже npo softmax 
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2.7^1 | (2.7^1 + 2.7^0.5 + 2.7^-1) 


0.57 
2.7^0.5 | (2.7^1 + 2.7^0.5 + 2.7^-1) 1 


0.35 
2.7^-11 (2.741 + 2.740.5 + 2.7^-1) 0.08 
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Многомерная логистическая функция или softmax 


W1 B1 


e (+) Е 


X 
аю ao ud 
W2 B2 
XS 
const exps = xs.map(x Math.E Х 


return exps.map(exp exp / sum(exps 
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Рекуррентные нейросети 


Почему рекуррентная нейросеть, а не многослойный персептрон? 
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Long short-term memory LSTM — 
долговременная кратковременная память; 


Gated Recurrent Units, GRU — управляемые 
рекуррентные блоки. 


Flexible Armored Tunnel 
(for cockpit access) 


Footpad 
Toe Flap 


Еще чуть про Gated Recurrent Units 


| 80, 24] ———————-—- = |80, 80] 
x1 h1 
x2 h2 
x3 h3 
x80 h80 
returnSequences: true returnSequences: false 


32/43 


Мозг — центральный отдел нервной системы животных, обычно расположенный в головном (переднем) отделе тела и 
представляющий собой компактное скопление нейронов и синапсов. У многих животных содержит также глиальные 
клетки, может быть окружён оболочкой из соединительной ткани. 
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266 7. Pattern recognition and attention 
демоны 


распределители демоны мыслители 


(@ личность 


FIGURE 7-3 


(3) субличностные 
агенты 


(2) модули 


(D нейроны 


Демон 
который 
видит 


Агентность в мозге 


Демон который 
принимает решение 


корковый ++: і 
сигнальный /.: № 
процессор 4: 2-7 


Пандемониум 
Система распознавания 


образов Оливера Селфриджа 
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const x = | 


0.5 | Соотношение нот 


J 
[9 £139. с Р Г Р , | , Последовательность 


const у = | 
|1, 0, 0, 0, 0, 0, 0, 0], Ожидаемый ответ 


I5 


model.compile(( loss: 'categoricalCrossentropy', 
optimizer: tf.train.rmsprop(0.01) }); 
Обучение 


const learn = await model.fit(x, у, { epochs: 15 }); 
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i saveToResults() 
[0.3 0.2...0.5] <————— ~ 


[0000010] 2» 
[000000 1] 
[1000000] 


[1000000] 


[0000001] 
[0000010] 


[0000010] 


oooo°oo = 


const model = await tflite.loadTFLiteModel('http://model.gru.tflite'); 
const pitch = [...], sentence = []; 


let sequance = tf.randomUniform(80, 0, 24) .oneHot (24); 


Tor (...) 4 
let preds = model.predict(pitch.concat(sequance)); 
let output = sample(preds, 0.8)); 
sequance = sequance.slice([1],[79]).concat(output.oneHot (24) ) ; 
sentence.push(output) ; 


function sample(probs, temperature) { 
const logits = tf.divNoNan(tf.log(probs), temperature) ; 
return tf.multinomial(logits, 1).asScalar().toInt(); 
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Что дальше? 


Кодировщик — Декодировщик 
механизм внимания 


эн | ямал дяк |, 

Вариационный dense | 

автоэнкодер 
са 


Генеративно-состязательная фальсификатор 


сеть input | гезпаре 


Что почитать? 


ЛАУРА 
the ГРЕССЕР 


JavaScript для глубокого 
обучения. TensorFlow.js 


Шолле Фран ü к для глубоного 
2. обучения 


Theory 
and 


41 


Technique "y (19111 119: 
of X Y с подкреплением 


Шэнкуинг, Байлесчи Стэн 


Electronic 
Music 


9 58, “Ч 
| ұф; >, 2% 
7 wa i 
le 
adh У ТЕОРИЯ 
t 3 “ 


И ПРАКТИКА 
НА A3bIKE PyTHON 


The Theory and Technique 
of Electronic Music 
Miller Packette 


Глубокое обучение с 
подкреплением 

Лаура Груссер, Ван Лун 
Кенг 


Miller > 
Puckette ) B ы 


Статьи по обучению с подкреплением 
Тһе Hands-on Reinforcement Learning 
Pau Labarta Bajo 


~ 


https://github.com/Paulescu/hands-on-rl 
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Что посмотреть? 


00, 


ЗДЕСЬ НАЧИНАЕТСЯ ЖИЗНЬ 


МИР ДИКОГО ЗАПАДА 


AMEDIATEKA 
Home or HBO 


ХАРРИСОН ФОРД 


St ee caca 2746 агам c6 "um далеч амшшы | Di Qmm кпш. гато £p АРИ amam 
DES TJ ECC 110 91 55 ГАЇ 
РЕЖИССЕРСКАЯ ВЕРСИЯ 
ПРОКАТНАЯ ВЕРСИЯ ФУТУРИСТИЧЕСКОГО ПРИКЛЮЧЕНИЯ 


» 


74 


v 3i 
=] ae РАЙАН roénuur XAPPMCOH ФОРД | 
м DEIYUGUU 3 
MO AESBUFO 


CU" 
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Лейбл разорвал контракт с виртуальным рэпером 


В его старой песне нашли n-word. 


Художники против нейросетей 


517 августа 2022 © 4,5 минуты на чтение 


Нейросетям пророчат, что они убьют 
искусство. Но так ли это, если пока 


роботы могут всего лишь копировать и 
вопорать?2 


VN Y alizar 29 августа в 16:00 E 
| Оптимизация нейросети на максимальный вред человеку. Я неиросеть: стартап Synthesi 
| Первый эксперимент виртуальный Санта озвучива 


Блог кс 


Будущее здесь НИЯ 


пании RUVDS.com, Машинное обучение", Научно-популярное, Искусственный интеллект 


Ней росеть DALL-E напугала MH PN здравление можно сделать бесплатн: 
селфи на Земле» ж. prompt was salmon in the river. So majestic. 


Целая серия mpa' 


Нейросеть DALL-E, с Как В «Чёрном зер 
изображения по тек‹ кан адцу «связаты 


На ТікТок-страничке 


сгенерированы по зг Хоть с помощью ИИ-сеү 


социальных сетях, Э 
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Спасибо за внимание :) 


Вопросы? 


© 


@p9gehka 
Андрей Антонов 


Проголосовать 
Слайды: bit.ly/fc22wave за доклад можно тут 1 


